Carl Gustav dibangunkan oleh Hugo Abramson dan Harald Jentzen di Royal Swedish Arms Administration (KAFT). Ia mula diperkenalkan dalam perkhidmatan Sweden pada 1948 sebagai 8,4 cm Granatgevär m/48 (Grg m/48), memenuhi peranan yang serupa dengan Bazooka tentera Amerika Syarikat, British PIAT dan Panzerschreck Jerman. Bagaimanapun, tidak sebagaimana senjata lain, Carl Gustav menggunakan laras berpilin bagi menstabilkan pelurunya, dan bukannya ridip ekor sebagaimana yang digunakan oleh system lain..

Pengunaan sistem tanpa renjatan (recoilless) membenarkan Carl Gustav untuk memiliki lebih banyak penujah, melancarkan pelurunya pada pecutan 290 m/s, berbeza dengan sekitar 105 m/s bagi Panzerschreck atau Bazooka dan sekitar 135 m/s bagi PIAT. Ia meningkat ketepatan pada jarak lebih jauh. Carl Gustav mampu mensasar sasaran pengun sehingga pada jarak 700 metre, tetapi kelajuan rendah projektile menghad serangan pada sasaran bergerak pada jarak kurang dari 400 metre.

Carl Gustav mulai dijual sekeliling dunia, dan menjadi satu dari senjata tahap skuad utama bagi kebanyakan tentera Eropah Barat.

Pada 1964-an versi dipertingkat, dikenali sebagai M2, telah diperkenalkan dan dengan pantas menggantikan versi asal. Versi M3 lebih baru diperkenalkan pada 1991, yang menggunakan lapik keluli nipis mengandungi pilin, diperkukuh dengan kelongsong gentian karbon luaran. Bahagian luaran diganti dengan sebatian aluminium atau plastik. Perkara ini mengurangkan berat senjata ini dari 14.2kg M2 kepada 8.5kg M3.

Pada tahun kebelakang senjata ini mulai digunakan dalam pelbagai peranan baru. Pihak British Special Air Service, pasukan khas A.S dan Renjer Tentera Amerika Syarikat menggunakan M3 sebagai peranan pemusnah kubu dan anti kenderaan, sementara tentera Jerman mengekalkan sejumlah kecil M2 bagi penerang medan tempur. Kebanyakan tentera tetap menggunakannya sebagai senjata anti perisai. Bagi menangani kebanyakan ancaman yang dihadapi pada medan tempor moden, terutamanya kereta kebal rekaan era 1950-an dan 60-an dan kenderaan ringan, senjata ini menunjukkan prestasi yang memuaskan.

Carl Gustav digunakan dalam peranan pemusnah kubu oleh tentera Kanada Regimen Princess Patricia’s Canadian Light Infantry ketika beroperasi di Afghanistan. Mereka membangunkan sistem baru bagi menembak pada waktu malam, yang membabitkan peninjau yang dilengkapi dengan skop malam menembak penjejak (tracer) pada sasaran, dan penembak Carl Gustav kemudian mensasarkan tempat di mana peluru penjejak disasarkan.

Ketika perperangan Falklands , seorang anggota Marin Diraja berjaya merosakkan penjajap (corvette ) Argentina dengan menggunakan Carl Gustav [1].